Training Foundation Models with a Single Algorithm
用单一算法训练基础模型
🧭 基础模型统一训练范式
Carnegie Mellon University · Johns Hopkins University · Aurora Innovation
将预训练、SFT、RL 统一为单一似然训练目标，把 RL 视作对模型生成分布的最大似然拟合
📌 工作参考价值（4 点）
- 在业务 LLM 迭代中，可放弃严格分阶段 SFT→RLHF 流水线，用统一似然目标直接混合静态标注与模型生成样本，减少多阶段维护成本和切换误差，尤其适合电商文案生成、对话策略等需要快速试错的场景。
- 把 RL 步骤改写为在模型自身生成分布上的最大似然拟合，可降低 reward hacking 风险并稳定训练；在推荐系统用用户行为反馈作为偏好信号时，可借鉴该视角设计更平滑的在线学习目标。
- 将数据选择、配比和训练时机作为核心调参对象，而不是算法切换；可在电商推荐中用行为日志、人工标注、模型生成样本做动态配比，统一训练提升覆盖率和准确率。
- 统一训练提供更强持续学习起点：上新品类、适配新用户群体或增量更新推荐模型时，可沿用同一训练器而不必重启多阶段流程。